Năm năm sau, vào tháng 5 năm 1806, ông mắc bệnh, 4 ngày sau khi chiến đấu với bệnh tật đó, ông từ trần ngay sau đó, hưởng thọ 54 tuổi vì chưa đến ngày sinh nhật thứ 55 của ông. Ông được chôn cất tại nghĩa trang Mount Auburn tại Cambridge, Massachusetts, Hoa Kỳ.

Simon Newton Dexter và Andrew Dexter, Jr. là cháu trai của ông.

Samuel W. Dexter, người sáng lập thành phố Dexter, Michigan, là con trai của ông.